Hoàng Tổ trong tiểu thuyết Tam Quốc diễn nghĩa của La Quán Trung xuất hiện từ hồi 7 đến hồi 38. Ông được mô tả là viên tướng vô mưu. Ông bị Tôn Sách bắt sống trong trận Tương Dương. Tôn Sách mang ông đổi lấy xác Tôn Kiên. Sau đó ông trấn thủ Giang Hạ cho Lưu Biểu, nhiều lần bị Tôn Quyền đánh bại và cuối cùng bị giết.